포트폴리오 최적화 이론

포트폴리오 최적화의 핵심은 투자자가 직면하는 두 가지 기본적이고 상충되는 목표, 즉 기대수익률과 위험 사이의 균형을 찾는 것이다. 기대수익률은 투자로부터 기대되는 미래 수익의 평균값을 의미한다. 일반적으로 높은 기대수익률을 추구하는 것은 투자의 당연한 목표이다. 그러나 높은 수익을 기대하는 투자는 종종 더 큰 가격 변동성, 즉 위험을 수반한다.

위험은 일반적으로 수익률의 변동성 또는 불확실성으로 정의된다. 통계학적으로는 수익률의 분산 또는 표준편차로 측정된다. 표준편차가 클수록 실제 수익이 기대값에서 크게 벗어날 가능성이 높아지며, 이는 투자 원금의 손실 가능성을 의미하기도 한다. 따라서 합리적인 투자자는 주어진 위험 수준에서 기대수익률을 극대화하거나, 목표하는 기대수익률을 달성하는 데 필요한 위험을 최소화하려고 한다.

이 두 개념의 관계는 위험-수익 트레이드오프로 설명된다. 일반적으로 안전한 국채와 같은 자산은 낮은 위험과 낮은 기대수익률을 제공하는 반면, 주식과 같은 자산은 높은 위험과 높은 기대수익률을 제공한다. 포트폴리오 최적화 이론은 개별 자산의 위험-수익 특성뿐만 아니라, 서로 다른 자산을 조합했을 때 발생하는 상관관계를 통해 전체 포트폴리오의 위험을 개별 자산 위험의 단순 합보다 줄일 수 있다는 점에 주목한다.

따라서 포트폴리오 구성의 핵심 과제는 단순히 높은 수익을 내는 자산을 선택하는 것이 아니라, 서로 다른 위험-수익 프로필과 상관관계를 가진 자산들을 조합하여 투자자의 위험 감내 수준 내에서 가장 효율적인 수익을 달성할 수 있는 조합을 찾는 것이다.

분산투자는 투자 위험을 관리하는 핵심 원리로, "모든 계란을 한 바구니에 담지 말라"는 격언으로 잘 알려져 있다. 이는 단일 자산에 모든 자본을 집중 투자하는 대신, 서로 다른 여러 자산에 자본을 분배하여 전체 포트폴리오의 위험을 줄이는 전략이다. 그 근본적인 메커니즘은 각 자산의 수익률 변동이 완벽하게 일치하지 않는다는 점, 즉 상관관계가 1이 아니라는 사실에 기반한다.

분산투자의 효과는 자산 간 공분산 또는 상관관계에 의해 결정된다. 두 자산의 수익률이 완전히 동일하게 움직이면(상관계수 +1), 위험은 단순히 평균화될 뿐 줄어들지 않는다. 반면, 수익률이 반대로 움직이는 경향이 있는 자산(상관계수 -1)을 조합하면, 한 자산의 손실이 다른 자산의 이익으로 상쇄되어 포트폴리오 전체의 변동성이 크게 감소한다. 현실에서는 대부분의 자산 간 상관계수가 0과 +1 사이에 위치하므로, 서로 다른 자산을 결합하면 비체계적 위험 또는 고유 위험이 상쇄되는 효과를 얻을 수 있다.

분산의 범위는 단순히 주식의 수를 늘리는 것을 넘어 다양한 차원으로 확장된다. 주요 분산 차원은 다음과 같다.

해리 마코위츠의 현대 포트폴리오 이론은 이러한 분산투자의 원리를 수학적으로 정립했다. 이 이론에 따르면, 투자자는 기대수익률과 위험(표준편차)의 교환 관계를 고려하여 효율적인 포트폴리오를 선택한다. 분산투자를 통해 포트폴리오의 위험-수익 프로필은 개별 자산들의 단순 평균보다 우월해질 수 있다. 즉, 동일한 기대수익률을 더 낮은 위험으로, 또는 동일한 위험 수준에서 더 높은 기대수익률을 달성할 가능성이 생긴다. 그러나 모든 시장 자산이 동시에 하락하는 경향을 보이는 시스템적 위험(체계적 위험)은 분산투자로 제거할 수 없다는 한계가 있다.

포트폴리오 최적화에서 효율적 투자선은 주어진 위험 수준에서 기대 수익률을 최대화하거나, 주어진 기대 수익률 수준에서 위험을 최소화하는 포트폴리오들의 집합을 나타내는 곡선이다. 이 개념은 해리 마코위츠의 평균-분산 모형에서 핵심적인 요소로 도입되었다. 투자자가 선택할 수 있는 모든 가능한 자산 배분 조합 중에서 가장 우월한 성과를 보이는 포트폴리오들만이 이 선상에 위치하게 된다.

효율적 투자선은 그래프 상에서 일반적으로 위쪽으로 볼록한 형태를 띤다. 이는 위험(표준편차 또는 분산)이 증가함에 따라 얻을 수 있는 추가 수익률의 증가분이 점점 감소한다는 수익 체감의 법칙을 반영한다. 효율적 투자선 아래쪽 영역에는 비효율적 포트폴리오들이 위치하는데, 이들은 동일한 위험 수준에서 더 낮은 수익을 제공하거나, 동일한 수익 수준에서 더 높은 위험을 지니게 된다.

투자자의 최적 포트폴리오 선택은 효율적 투자선과 투자자의 무차별 곡선이 접하는 지점에서 결정된다. 무차별 곡선은 투자자가 위험과 수익에 대해 가지는 주관적 선호를 나타내며, 위험 회피 성향이 강한 투자자는 더 낮은 위험과 수익의 조합을, 위험 감수 성향이 강한 투자자는 더 높은 위험과 수익의 조합을 선택하게 된다. 따라서 효율적 투자선은 객관적으로 도출 가능한 최적의 기회 집합을 제시하지만, 최종 선택은 투자자의 주관적 위험 선호도에 의존한다.

효율적 투자선의 구체적인 형태는 구성 자산들의 기대 수익률, 위험(분산), 그리고 자산들 간의 상관관계(공분산)에 의해 결정된다. 자산 간의 상관계수가 낮을수록 분산투자 효과가 커져 효율적 투자선은 더 왼쪽 상단으로 이동하며, 이는 동일한 위험 수준에서 더 높은 수익을 기대할 수 있거나, 동일한 수익 수준에서 더 낮은 위험을 달성할 수 있음을 의미한다.

마코위츠 평균-분산 모형은 몇 가지 핵심적인 가정 위에 설립되었다. 첫째, 투자자는 위험 회피 성향을 가진 합리적 경제주체이다. 둘째, 투자자는 포트폴리오 선택 시 기대 수익률과 위험만을 고려하며, 위험은 수익률의 분산(또는 표준편차)으로 측정된다. 셋째, 모든 투자자는 동일한 투자 기간과 정보 집합을 공유한다. 이러한 가정 하에서, 투자자의 의사결정 문제는 주어진 기대 수익률 수준에서 위험을 최소화하거나, 주어진 위험 수준에서 기대 수익률을 최대화하는 포트폴리오를 찾는 최적화 문제로 귀결된다.

모형의 수학적 구성은 다음과 같다. n개의 자산으로 구성된 포트폴리오를 고려할 때, 각 자산 i의 기대 수익률을 E(R_i), 포트폴리오 내 비중을 w_i, 자산 i와 j 사이의 수익률 공분산을 σ_ij라고 정의한다. 포트폴리오 전체의 기대 수익률 E(R_p)와 위험(분산) σ_p^2은 아래와 같이 계산된다.

포트폴리오 분산 계산식에서 Σ_{i=1}^{n} Σ_{j=1}^{n} w_i * w_j * σ_ij 항은 자산 간 상관관계의 영향을 명시적으로 포함한다. 이는 분산투자의 효과를 정량화하는 핵심이다. 공분산 σ_ij는 자산 i와 j의 수익률이 함께 움직이는 경향을 측정하며, 상관계수 ρ_ij와 각 자산의 표준편차를 통해 σ_ij = ρ_ij * σ_i * σ_j 로 표현될 수 있다.

모형의 핵심 출력은 효율적 프론티어이다. 이는 주어진 자산 집합에서 도달 가능한 모든 포트폴리오 중, 동일한 위험 수준에서 최고의 기대 수익률을 제공하거나 동일한 기대 수익률 수준에서 최소의 위험을 가지는 포트폴리오들의 집합을 이루는 곡선이다. 효율적 프론티어 상의 포트폴리오를 찾기 위해서는 일반적으로 2차 계획법과 같은 최적화 기법이 사용된다. 이 과정에는 자산 비중의 합이 1이 된다는 제약(Σ w_i = 1)이 항상 포함되며, 실무에서는 여기에 공매도 제한(w_i ≥ 0)이나 섹터별 비중 상한 등의 추가 제약조건이 부과되기도 한다.

마코위츠 평균-분산 모형의 핵심 산출물인 효율적 투자선을 도출하는 과정이다. 주어진 기대수익률 수준에서 분산(또는 표준편차)을 최소화하거나, 주어진 위험 수준에서 기대수익률을 최대화하는 포트폴리오들의 집합을 계산하는 수리적 최적화 문제로 정의된다.

계산은 일반적으로 다음과 같은 2차 계획법 문제를 푸는 방식으로 이루어진다. 목표 함수는 포트폴리오 분산의 최소화이며, 주요 제약 조건은 포트폴리오의 기대수익률이 목표값과 같아야 한다는 것과 모든 자산의 투자 비중의 합이 1(100%)이어야 한다는 것이다[3]. 입력값으로는 각 자산의 기대수익률 추정치, 각 자산의 수익률 분산, 그리고 자산 간 공분산 또는 상관계수가 필요하다.

계산 과정은 특정 목표 수익률을 설정하고, 해당 수익률을 달성하는 무수히 많은 포트폴리오 중에서 분산이 가장 작은 포트폴리오의 비중을 찾는 것이다. 이 과정을 서로 다른 목표 수익률에 대해 반복 수행하면, 위험-수익률 공간에 효율적 프론티어 곡선이 그려진다. 실무적으로는 2차 계획법 솔버나 라그랑주 승수법을 활용한 분석적 해법을 사용하여 계산한다.

마코위츠 평균-분산 모형은 현대 포트폴리오 이론의 기초를 제공했으나, 여러 실용적 한계와 이론적 비판에 직면해 있다.

가장 큰 비판은 모형이 위험을 수익률의 분산 또는 표준편차로만 정의한다는 점이다. 이는 투자자들이 실제로 우려하는 하방 위험, 즉 손실 가능성을 충분히 반영하지 못한다. 또한, 모형의 입력값인 기대수익률, 분산, 공분산을 정확히 추정하는 것은 극히 어렵다. 특히 기대수익률은 미래 값을 예측하는 것이므로 작은 추정 오차도 최적 포트폴리오 구성에 큰 변동을 초래하여 결과의 실용성을 떨어뜨린다.

다음 표는 모형의 주요 한계를 요약한다.

또한, 모형은 투자자들이 단일 기간(보통 1년)의 수익률 분산을 최소화하는 것을 목표로 한다는 점에서 비판을 받는다. 이는 장기 투자자의 관점이나 재투자 위험, 유동성 필요성 등을 고려하지 못한다. 이러한 한계들로 인해 실무에서는 제약조건 추가, 블랙-리터만 모형과 같은 개선된 접근법, 또는 리스크 패리티와 같은 대체 전략이 발전하게 되었다.

시장포트폴리오는 자본자산가격결정모형(CAPM)의 핵심 개념이다. 이는 모든 위험자산을 시장 가치 가중평균 비율로 포함한 가상의 포트폴리오를 의미한다. 즉, 주식, 채권, 부동산 등 거래 가능한 모든 위험자산이 시장에서 차지하는 비중만큼 투자된 완전히 분산된 포트폴리오이다. CAPM에서는 모든 합리적 투자자가 이 시장포트폴리오와 무위험 자산을 조합하여 투자한다고 가정한다. 이는 마코위츠의 효율적 프론티어 상에서 가장 우월한 위험-수익률 균형을 제공하는 단일한 최적 포트폴리오에 해당한다.

베타(β)는 개별 자산이나 포트폴리오의 체계적 위험, 즉 시장 전체의 변동에 대한 민감도를 측정하는 지표이다. 베타는 다음과 같이 계산된다.

베타는 자산의 초과수익률과 시장포트폴리오의 초과수익률 간의 공분산을 시장포트폴리오 수익률의 분산으로 나눈 값이다. 공식적으로 β_i = Cov(R_i, R_m) / Var(R_m) 으로 표현된다. 여기서 R_i는 개별 자산의 수익률, R_m은 시장포트폴리오의 수익률이다.

이 두 개념을 연결하는 CAPM의 핵심 방정식은 다음과 같다. 개별 자산의 기대수익률은 무위험 수익률에, 시장위험 프리미엄(시장포트폴리오 기대수익률 - 무위험 수익률)을 해당 자산의 베타로 조정한 값을 더한 것과 같다. 즉, E(R_i) = R_f + β_i * [E(R_m) - R_f] 이다. 이 공식은 자산의 기대수익률이 그 자체의 고유한 위험이 아닌, 시장 전체와 공유하는 체계적 위험(베타)에 대해서만 보상받음을 의미한다. 따라서 베타는 자산의 요구수익률을 결정하는 핵심 변수가 된다.

자본자산가격결정모형의 핵심 결과물 중 하나인 증권시장선은 개별 자산이나 포트폴리오의 기대수익률과 시스템적 위험을 측정하는 베타 사이의 선형 관계를 나타낸다. 이 선은 시장 전체의 위험 대비 수익률 관계를 정의하는 기준선 역할을 하며, 모든 자산은 이 선 위에 위치해야 이론적으로 균형 상태에 있다고 본다. 증권시장선의 공식은 E(R_i) = R_f + β_i * [E(R_m) - R_f]로 표현되며, 여기서 E(R_i)는 자산 i의 기대수익률, R_f는 무위험 수익률, E(R_m)은 시장 포트폴리오의 기대수익률, β_i는 자산 i의 베타를 의미한다.

증권시장선은 투자 결정과 자산 평가에 직접적으로 활용된다. 개별 증권이 증권시장선 위에 위치하면 시장이 예상하는 수익률보다 높은 수익을 기대할 수 있어 저평가된 상태로 간주될 수 있다. 반대로 증권시장선 아래에 위치하면 고평가된 상태로 해석될 수 있다. 이는 투자자가 위험(베타)에 대해 보상을 받는지 여부를 판단하는 도구가 된다. 또한, 증권시장선은 자본시장선과 구별되는데, 자본시장선은 위험자산과 무위험자산을 결합한 효율적 포트폴리오들의 위험(표준편차)과 수익률 관계를 보여주는 반면, 증권시장선은 개별 자산의 기대수익률과 비체계적 위험이 제거된 포트폴리오에서의 위험(베타) 간 관계를 설명한다.

이 모형은 몇 가지 중요한 함의를 가진다. 첫째, 투자자에게 보상되는 위험은 시스템적 위험 뿐이며, 비체계적 위험은 분산을 통해 제거 가능하므로 보상받지 못한다는 점을 강조한다. 둘째, 증권시장선의 기울기 [E(R_m) - R_f]는 시장 위험 프리미엄을 나타내며, 이는 시장 전체가 위험을 감수하는 대가로 요구하는 추가 수익률이다. 그러나 이 모형은 단일 기간 모형이며, 무위험 이자율과 모든 투자자가 동일한 기대를 가진다는 등 비현실적인 가정에 기반하고 있어 실증 검증에서 한계를 보이기도 한다[5].

팩터 모형은 자본자산가격결정모형의 단일 요인(시장 위험 프리미엄) 한계를 극복하고, 주식 수익률을 설명하는 다수의 체계적 위험 요인을 식별하려는 시도에서 발전했다. 초기 다요인 모형은 로스(Stephen Ross)가 제안한 차익거래가격결정이론(APT)에서 그 기원을 찾을 수 있다. APT는 수익률이 여러 거시경제 요인에 선형적으로 반응한다고 가정하며, 특정 요인의 정체를 명시하지 않는 일반적인 이론적 틀을 제공했다[7].

실증적 팩터 모형의 발전은 구체적인 위험 요인들을 규명하는 방향으로 이루어졌다. 학계와 실무界는 주식 수익률의 변동을 설명하는 강력한 요인들을 지속적으로 탐색했다. Fama-French 3요인 모형은 이러한 연구의 대표적 성과로, 시장 요인 외에 기업규모(시가총액)와 장부가-시장비율(B/M 비율)이라는 두 가지 요인을 추가하여 수익률 변동을 더 잘 설명할 수 있음을 보였다. 이후 연구자들은 모멘텀(momentum), 투자(기업의 투자 규모), 수익성(profitability) 등 추가적인 요인들을 발견하며 모형을 확장시켰다.

팩터 모형의 발전은 다음과 같은 주요 흐름을 따른다.

이러한 발전은 단순한 학문적 탐구를 넘어 포트폴리오 구성, 위험 관리, 성과 평가 등 금융 실무 전반에 깊은 영향을 미쳤다. 특히, 특정 팩터에 대한 노출을 의도적으로 조절하는 팩터 투자 전략의 기초를 제공하며, 액티브 투자와 패시브 투자의 경계를 재정의하는 역할을 했다.

Fama-French 3요인 모형은 CAPM의 한계를 극복하고 주식 수익률을 더 잘 설명하기 위해 유진 파마와 케네스 프렌치가 1992년 제안한 자산가격결정모형이다. 이 모형은 시장 위험 프리미엄 외에 두 가지 추가적인 위험 요인, 즉 기업규모 요인(SMB, Small Minus Big)과 B/M 요인(HML, High Minus Low)을 도입했다. CAPM이 시장포트폴리오의 수익률 변동에 대한 개별 자산의 민감도인 베타 하나로만 수익률을 설명하려 했다면, 파마-프렌치 3요인 모형은 세 가지 요인의 노출도로 설명한다.

모형의 핵심은 세 가지 요인의 수익률을 포트폴리오로 구축하여 측정한다는 점이다. SMB 요인은 소형주 포트폴리오 수익률에서 대형주 포트폴리오 수익률을 뺀 값으로, 소형주가 대형주보다 더 높은 평균 수익률을 보이는 현상(소형주 효과)을 포착한다. HML 요인은 높은 장부가대시장가비율을 가진 가치주 포트폴리오 수익률에서 낮은 비율을 가진 성장주 포트폴리오 수익률을 뺀 값으로, 가치주가 성장주보다 더 높은 수익률을 내는 경향(가치 효과)을 반영한다. 따라서 어떤 주식이나 포트폴리오의 초과수익률은 시장 위험, 규모 위험, 가치 위험에 대한 세 개의 베타 계수와 각 요인의 위험 프리미엄의 선형 조합으로 설명된다.

이 모형은 실증적으로 CAPM보다 훨씬 높은 설명력을 보였으며, 학계와 실무에서 광범위하게 채택되었다. 이를 통해 투자자는 단순히 시장 대비 변동성을 넘어, 자신의 포트폴리오가 규모와 가치라는 체계적 위험 요인에 얼마나 노출되어 있는지를 정량화할 수 있게 되었다. 또한, 이 모형은 팩터 투자의 이론적 기반을 제공하며, 투자 성과를 평가하는 벤치마크로도 활용된다.

그러나 이 모형도 이후 발견된 모멘텀 효과나 수익성 효과 등을 설명하지 못하는 한계가 지적되며, 이는 더 많은 요인을 추가한 다요인 모형으로의 발전을 촉진시켰다[9].

투자 포트폴리오 구성 시 이론적 최적화 결과는 실무적 제약 없이는 실행 가능하지 않은 경우가 많다. 따라서 마코위츠 평균-분산 모형의 기본 틀에 다양한 제약조건을 추가하여 현실적인 투자 전략을 도출한다. 주요 제약조건은 크게 법적·규제적 제약, 운용자의 정책적 제약, 시장 구조적 제약으로 구분할 수 있다.

일반적으로 적용되는 정량적 제약조건은 다음과 같다.

또한, 운용자의 투자 철학을 반영하는 정성적 제약도 중요하다. 예를 들어, 특정 산업(예: 담배, 무기)에 대한 배제(ESG 투자), 또는 벤치마크 지수 대비 특정 섹터의 최대 편차 허용 범위 설정 등이 있다. 이러한 제약조건들은 최적화 문제의 복잡성을 증가시키며, 종종 선형 계획법이나 이차 계획법 등 수리적 최적화 알고리즘을 통해 해를 구하게 된다. 제약조건의 적절한 설정은 모형의 모형 위험을 줄이고, 백테스트 성과와 실제 운용 성과의 괴리를 최소화하는 핵심 요소이다.

마코위츠 평균-분산 모형은 객관적인 역사적 데이터만을 바탕으로 포트폴리오를 구성하기 때문에, 투자자의 시장에 대한 주관적 전망이나 견해를 반영하지 못한다는 한계를 가졌다. 블랙-리터만 모형은 1990년대 초 피셔 블랙과 로버트 리터만이 제안한 이론으로, 마코위츠 모형의 이 한계를 극복하기 위해 개발되었다. 이 모형은 시장 균형에서 도출된 균형기대수익률과 투자자의 개별적인 전망을 결합하여 최종적인 기대수익률을 도출한다.

모형의 핵심은 베이즈 정리를 적용한 수익률 추정 절차에 있다. 먼저, 자본자산가격결정모형 이론에 기반한 시장 포트폴리오의 구성비율을 역산하여 시장이 암묵적으로 가정하고 있는 균형기대수익률을 계산한다. 이는 사전 추정치 역할을 한다. 이후 투자자는 특정 자산이나 자산군에 대한 절대적 또는 상대적 수익률 전망(예: "A 주식은 3% 초과수익을 낼 것이다" 또는 "금융섹터가 기술섹터보다 2% 더 좋은 성과를 낼 것이다")을 정성적 견해로 제시한다. 모형은 이 전망에 대한 투자자의 확신 정도를 불확실성(분산)의 형태로 함께 입력받는다.

이 두 정보(시장 균형 추정치와 주관적 전망)는 베이즈 정리를 통해 결합되어 사후 추정치, 즉 새로운 기대수익률 벡터를 생성한다. 그 계산식은 다음과 같다.

Π = λ Σ w_mkt

E(R) = [(τΣ)⁻¹ + PᵀΩ⁻¹P]⁻¹ [(τΣ)⁻¹Π + PᵀΩ⁻¹Q]

여기서,

• Π: 균형기대수익률 벡터

• λ: 위험회피계수

• Σ: 수익률의 공분산 행렬

• w_mkt: 시장 포트폴리오 가중치 벡터

• τ: 균형 추정치에 대한 신뢰도 조절 스칼라

• P: 투자자 전망을 자산과 연결하는 행렬

• Q: 투자자 전망 값의 벡터

• Ω: 전망에 대한 불확실성을 나타내는 대각 공분산 행렬

이렇게 도출된 새로운 기대수익률 E(R)은 기존 공분산 행렬 Σ와 함께 마코위츠 평균-분산 최적화 과정에 입력되어 최종 포트폴리오를 구성하는 데 사용된다. 그 결과는 시장 균형으로부터 크게 벗어나지 않으면서도 투자자의 유일한 전망을 반영한, 보다 안정적이고 직관적인 자산배분이 가능해진다. 이 모형은 특히 전통적인 모형이 생성하는 극단적이고 민감한 가중치(예: 특정 자산에 대한 과도한 집중 또는 공매도) 문제를 완화하는 데 효과적이다.

리스크 패리티 전략은 포트폴리오의 위험을 각 자산 클래스 또는 팩터에 균등하게 분배하는 것을 목표로 하는 자산배분 접근법이다. 기존의 마코위츠 평균-분산 모형이 기대수익률과 공분산을 기반으로 최적화하는 반면, 이 전략은 위험 기여도에 초점을 맞춘다. 전통적인 60/40 포트폴리오(주식 60%, 채권 40%)는 변동성이 큰 주식에 포트폴리오 위험의 대부분이 집중되는 문제가 있지만, 리스크 패리티는 이를 해결하려고 한다.

전략의 핵심은 각 자산의 위험 기여도를 계산하여 균등화하는 것이다. 한 자산의 위험 기여도는 해당 자산의 변동성과 포트폴리오 내 다른 자산과의 상관관계를 통해 결정된다. 높은 변동성과 낮은 상관관계를 가진 자산은 포트폴리오 전체 위험을 분산시키는 데 유리한 역할을 한다. 최적화 과정에서는 각 자산의 위험 기여도가 동일해지도록 자산별 비중을 반복적으로 조정한다.

실행을 위해서는 일반적으로 레버리지 사용이 필요하다. 채권 등 변동성이 낮은 자산의 위험 기여도를 주식 수준으로 끌어올리려면 해당 자산에 더 많은 자본을 배분하거나 레버리지를 적용해야 한다. 이 전략은 다양한 경제 환경에서 안정적인 성과를 보이는 것을 목표로 하지만, 모든 자산 클래스의 수익률이 동시에 하락하는 상황이나 급격한 금리 상승기에는 어려움을 겪을 수 있다.

포트폴리오 최적화 모델의 입력값은 주로 과거 시장 데이터에서 추정된다. 가장 일반적으로 사용되는 데이터는 개별 자산의 일별 수익률 또는 주간 수익률 시계열이다. 데이터 수집의 첫 단계는 분석 대상 자산군(예: 특정 국가의 주식, 채권, 상품 등)을 정의하고, 해당 자산들의 충분히 긴 기간(보통 5년에서 10년 이상)의 가격 데이터를 확보하는 것이다. 데이터의 품질과 일관성은 매우 중요하며, 배당금 재투자, 액면분할, 유상증자 등 기업 행사가 수익률 계산에 정확히 반영되어야 한다.

수집된 원시 가격 데이터는 몇 가지 핵심 단계를 거쳐 전처리된다. 첫째, 결측치 처리이다. 특정 자산의 거래 정지나 상장 폐지 등으로 인해 데이터가 없는 경우, 해당 기간을 분석에서 제외하거나 통계적 방법으로 보간하는 작업이 필요하다. 둘째, 이상치 탐지 및 조정이다. 시장 충격이나 데이터 오류로 인한 극단적인 수익률 값은 모델 추정을 왜곡할 수 있으므로, 합리적인 범위를 벗어나는 값을 식별하고 적절히 처리한다. 셋째, 데이터의 주기와 기간을 통일하는 것이다. 모든 자산에 대해 동일한 기간과 동일한 빈도(예: 모두 월별 데이터)의 수익률 시계열을 생성하여 공분산 행렬 추정의 정확도를 높인다.

전처리 과정 후, 수익률 데이터는 기대수익률과 위험(표준편차), 자산 간 상관관계를 추정하는 데 사용된다. 역사적 평균 수익률이 미래 기대수익률의 추정치로 흔히 사용되지만, 이는 매우 불안정한 추정치일 수 있다는 점이 지적된다. 따라서 실무에서는 역사적 데이터에 제약조건을 가하거나 블랙-리터만 모형과 같이 투자자의 사전 견해를 결합하는 방식으로 기대수익률을 조정하기도 한다. 한편, 위험(변동성)과 상관관계는 상대적으로 더 안정적인 특성을 보이는 경우가 많아, 역사적 데이터의 설명력이 비교적 높은 편이다[11].

공분산 행렬 추정은 포트폴리오 최적화 이론의 핵심 계산 단계로, 자산 간 위험의 상호관계를 정량화하는 과정이다. 이 행렬은 각 자산의 변동성(분산)과 다른 자산과의 연동 움직임(공분산)을 포함하며, 마코위츠 평균-분산 모형을 통해 효율적 프론티어를 도출하는 데 필수적인 입력값이다. 부정확한 추정은 최적 포트폴리오 구성에 심각한 오류를 초래할 수 있으므로, 신뢰할 수 있는 추정 방법론의 선택이 중요하다.

가장 일반적인 방법은 역사적 수익률 데이터를 사용하는 표본 공분산 행렬 계산이다. 특정 기간(예: 3년 또는 5년)의 일별 또는 월별 수익률 데이터를 기반으로 각 자산 쌍의 공분산을 산출한다. 그러나 이 방법은 몇 가지 근본적인 한계를 지닌다. 추정에 필요한 관측치 수가 자산 수에 비해 충분하지 않으면 추정 오차가 커지고, 극단적인 수익률(아웃라이어)에 과도하게 영향을 받으며, 시간이 지남에 따라 변하는 자산 간 관계를 반영하지 못할 수 있다.

이러한 한계를 극복하기 위해 다양한 개선된 추정 기법이 개발되었다. 대표적인 방법은 다음과 같다.

실무에서는 자산 수, 데이터 가용성, 계산 자원 등을 고려하여 이들 방법을 단독 또는 혼합하여 사용한다. 특히 고차원 설정(자산 수 > 관측치 수)에서는 요인 모형이나 Shrinkage 방법이 필수적이다. 정확한 공분산 행렬 추정은 이론적 모형을 현실에 적용하는 데 있어 가장 실용적이면서도 어려운 과제 중 하나로 남아 있다.

최적화 알고리즘은 포트폴리오 최적화 문제, 특히 마코위츠 평균-분산 모형을 수치적으로 해결하는 방법을 의미한다. 기본적인 평균-분산 최적화 문제는 주어진 기대수익률 하에서 분산(위험)을 최소화하거나, 주어진 위험 수준 내에서 기대수익률을 최대화하는 포트폴리오의 비중을 찾는 2차 계획법 문제로 공식화된다. 이 문제를 해결하기 위해 다양한 수치 최적화 알고리즘이 사용된다.

가장 기본적인 접근법은 라그랑주 승수법을 이용한 해석적 해를 구하는 것이다. 그러나 실무에서는 투자 비중에 대한 다양한 제약조건(예: 공매도 제한, 섹터 제한, 유동성 제한)이 추가되며, 이는 문제를 복잡하게 만든다. 이러한 제약이 선형일 경우에도 문제는 여전히 2차 계획법의 범주에 속하며, 내점법이나 능동집합법과 같은 전문 알고리즘을 통해 효율적으로 해를 찾을 수 있다. 최근에는 계산 성능이 향상됨에 따라 유전 알고리즘이나 시뮬레이션 어닐링 같은 메타휴리스틱 방법도 복잡한 비선형 제약이 있는 경우에 적용된다.

알고리즘 선택은 목표 함수의 형태, 제약조건의 복잡성, 계산 시간 요구사항에 따라 결정된다. 특히 대규모 자산군(수백~수천 개)을 다룰 때는 공분산 행렬의 추정 오차가 알고리즘의 안정성에 큰 영향을 미치므로, 정규화 기법이나 베이지안 추정을 결합하여 수치적 불안정성을 줄이는 것이 중요하다. 또한, 블랙-리터만 모형처럼 사전적 관점을 통합한 모형은 역공분산 행렬 계산을 포함하는 특수한 최적화 절차를 요구한다.

모형 위험은 포트폴리오 최적화 과정에서 사용된 수리적 모형의 가정, 구조 또는 입력값의 결함으로 인해 실제 투자 성과가 기대와 크게 벗어날 수 있는 위험을 의미한다. 이는 모형이 현실을 지나치게 단순화하거나, 중요한 위험 요소를 누락했을 때 발생한다. 특히 금융 시장은 역동적이며, 모형이 의존하는 과거 데이터의 패턴이 미래에도 지속될 것이라는 보장이 없다. 따라서 모형 위험은 최적화 결과가 이론적으로는 효율적일지라도, 실행 단계에서 예상치 못한 손실을 초래하는 주요 원인으로 작용한다.

가장 대표적인 마코위츠 평균-분산 모형은 몇 가지 중요한 가정에 기반하는데, 이로 인해 모형 위험이 발생한다. 첫째, 수익률이 정규분포를 따른다는 가정은 실제 금융 시장에서 자주 관찰되는 꼬리 위험과 극단적 사건을 제대로 설명하지 못한다. 둘째, 위험을 수익률의 변동성(분산)으로만 정의하는 것은 하방 위험에 대한 투자자의 민감도를 반영하지 않을 수 있다. 셋째, 모형의 입력값인 기대수익률, 변동성, 상관관계는 모두 과거 데이터에서 추정되는데, 이 값들의 작은 변화가 최적 포트폴리오 구성에 지나치게 큰 영향을 미칠 수 있다. 이는 추정 오류가 모형 위험으로 직접 연결됨을 의미한다.

이러한 모형 위험을 완화하기 위해 여러 방법이 사용된다. 첫째, 단일 모형에 의존하기보다는 다양한 모형(블랙-리터만 모형, 리스크 패리티 등)을 비교하고 결합하는 접근법이 있다. 둘째, 몬테카를로 시뮬레이션이나 역사적 시나리오 분석을 통해 모형이 다양한 시장 환경에서 어떻게 작동하는지 스트레스 테스트를 실시한다. 셋째, 입력 파라미터의 불확실성을 직접 모형에 반영하는 로버스트 최적화 기법을 적용하기도 한다. 궁극적으로 모형은 투자 결정을 보조하는 도구일 뿐이며, 모형의 결과를 맹신하기보다는 정성적 판단과 위험 관리 원칙과 결합하는 것이 모형 위험을 관리하는 핵심이다.

전통적인 포트폴리오 최적화 모형은 주로 역사적 가격 데이터에서 도출된 수익률과 공분산 행렬에 의존해 왔다. 그러나 빅데이터 시대에 접어들며, 대체 데이터의 활용이 투자 의사결정 과정에 통합되기 시작했다. 대체 데이터는 재무제표나 시장 가격 데이터와 같은 전통적인 금융 데이터에 포함되지 않는 모든 정보를 포괄한다. 예를 들어, 위성 이미지를 통해 유통업체 주차장의 혼잡도를 분석하거나, 소셜 미디어 감정 분석을 통해 기업에 대한 대중의 인식을 측정하는 것이 여기에 해당한다[12]. 이러한 데이터는 미래 수익률이나 리스크에 대한 새로운 통찰을 제공할 수 있어, 모형의 예측력을 높이는 데 기여한다.

머신러닝 기법은 이러한 방대하고 복잡한 대체 데이터를 처리하고 패턴을 발견하는 데 핵심적인 역할을 한다. 선형 회귀 분석 같은 전통적 통계 방법으로는捕捉하기 어려운 비선형 관계나 상호작용을 신경망, 랜덤 포레스트, 그래디언트 부스팅 같은 알고리즘이 모델링할 수 있다. 머신러닝은 공분산 행렬을 더 정확하게 추정하거나, 자산 수익률에 대한 새로운 예측 변수를 생성하는 데 적용된다. 또한, 고차원의 데이터(자산 수가 샘플 기간보다 많은 경우)에서도 안정적인 최적화 결과를 도출하는 데 활용될 수 있다.

머신러닝 접근법은 강력한 잠재력을 지녔지만, 몇 가지 중요한 과제를 동반한다. 첫째, 모형의 블랙박스 특성으로 인해 투자 결정의 근거를 해석하기 어려울 수 있다. 둘째, 과적합의 위험이 크며, 역사적 데이터에 너무 정확하게 맞춰진 모형이 미래에는 실패할 가능성이 있다. 셋째, 대체 데이터의 품질, 일관성, 그리고 데이터 수집 과정에서 발생할 수 있는 편향을 관리해야 한다. 따라서 머신러닝을 적용한 포트폴리오 최적화는 단순히 알고리즘을 도입하는 것을 넘어, 데이터 관리, 모형 검증, 리스크 통제를 포함한 체계적인 프레임워크가 필요하다.